मेटा AI ने हाल ही में SPIRIT LM नामक एक बुनियादी मल्टीमोडल भाषा मॉडल को ओपन-सोर्स किया है, जो पाठ और आवाज़ को स्वतंत्र रूप से मिलाने में सक्षम है, ऑडियो और पाठ के मल्टीमोडल कार्यों के लिए नई संभावनाएँ खोलता है। SPIRIT LM 70 अरब पैरामीटर वाले पूर्व-प्रशिक्षित पाठ भाषा मॉडल पर आधारित है, जो निरंतर प्रशिक्षण के माध्यम से पाठ और ऑडियोक कार्यों में मान्यताप्राप्त किया गया है। यह पाठ बड़े मॉडल की तरह पाठ को समझने और उत्पन्न करने में सक्षम है, साथ ही आवाज़ को भी समझने और उत्पन्न करने में सक्षम है, और यहाँ तक ​​कि पाठ और आवाज़ को मिलाकर विभिन्न प्रकार की कृत्रिम रचनाएँ पैदा कर सकता है।

आज के 2024 वोल्कन इंजन एआई इनोवेशन टूर में, वीडियो जनरेशन मॉडल के साथ, बाइटडांस ने डौबाओ·म्यूज़िक मॉडल और डौबाओ·समवर्ती अनुवाद मॉडल का भी लॉन्च किया, और डौबाओ यूनिवर्सल मॉडल प्रो, टेक्स्ट टू इमेज मॉडल, स्पीच सिंथेसिस मॉडल जैसे विशिष्ट मॉडलों में बड़े पैमाने पर अद्यतन की घोषणा की। डौबाओ·म्यूज़िक मॉडल की लॉन्चिंग, वोल्कन इंजन के संगीत निर्माण क्षेत्र में गहराई से प्रवेश का प्रतीक है। यह मॉडल शक्तिशाली एल्गोरिदम समर्थन के माध्यम से उच्च गुणवत्ता वाले संगीत निर्माण की स्वतंत्रता प्रदान करता है। गीतों की पीढ़ी के लिए, केवल कुछ सरल शब्दों का इनपुट करके, तेजी से भावनात्मक रूप से जुड़े गीत उत्पन्न किए जा सकते हैं।